戴爾首席運(yùn)營(yíng)官 Jeff Clarke 在上周公司的財(cái)報(bào)電話會(huì)議上透露 Nvidia 最新的 AI 加速器將消耗 1,000 瓦，比前身增加 42%。CKiesmc
即便如此，他表示即將推出的 Nvidia 芯片（他稱之為 B200）將不需要在數(shù)據(jù)中心服務(wù)器中進(jìn)行液體冷卻。Nvidia 尚未宣布一款名為 B200 的芯片，但一些觀察人士推測(cè)，Clarke 可能指的是 Nvidia 路線圖上的 GB200 芯片，該芯片預(yù)計(jì)將結(jié)合 Nvidia 的 Grace CPU 和 B100 GPU，與 GH200 的配置相同。GB200的熱設(shè)計(jì)功率可達(dá)1,300瓦，比前代產(chǎn)品提高了30%。CKiesmc
Nvidia 可能會(huì)在兩周后的 GTC 活動(dòng)中透露更多信息。CKiesmc
CKiesmc
Nvidia 于 2023 年底推出了 H200，這是 H100 的更新版，由于采用了 HBM3e 內(nèi)存，能夠?qū)?LLM 性能提高一倍。CKiesmc
在戴爾的財(cái)報(bào)電話會(huì)議上，Clarke說(shuō)："我們對(duì) H200 的發(fā)展及其性能提升感到興奮。然后他又說(shuō)：要達(dá)到每個(gè) GPU 1000 瓦的能量密度，確實(shí)不需要直接的液體冷卻。CKiesmc
戴爾已經(jīng)展示了在大規(guī)模液冷、互連、遙測(cè)和電源管理方面的專業(yè)技術(shù)。"這確實(shí)使我們能夠做好準(zhǔn)備，將其大規(guī)模推向市場(chǎng)，以利用市場(chǎng)上將存在的這種令人難以置信的計(jì)算能力或強(qiáng)度或能力"。他說(shuō)。CKiesmc
AI耗電是人類普通家庭上萬(wàn)倍
人工智能芯片的功耗是數(shù)據(jù)中心專家和戴爾等服務(wù)器制造商最關(guān)心的問(wèn)題之一。CKiesmc
據(jù)《紐約客》雜志報(bào)道，OpenAI的熱門聊天機(jī)器人ChatGPT每天可能要消耗超過(guò)50萬(wàn)千瓦時(shí)的電力，以響應(yīng)用戶的約2億個(gè)請(qǐng)求。相比之下，美國(guó)家庭平均每天使用約29千瓦時(shí)電力，也就是說(shuō)，ChatGPT每天用電量是家庭用電量的1.7萬(wàn)多倍。CKiesmc
如果生成式AI被進(jìn)一步采用，耗電量可能會(huì)更多。荷蘭國(guó)家銀行數(shù)據(jù)科學(xué)家亞歷克斯·德弗里斯在一篇論文中估計(jì)，到2027年，整個(gè)人工智能行業(yè)每年將消耗85至134太瓦時(shí)(1太瓦時(shí)=10億千瓦時(shí))的電力。 CKiesmc
責(zé)編：Echo
掃碼分享到好友
